Learning from demonstration (LfD) is a proven technique to teach robots new skills. Data quality and quantity play a critical role in LfD trained model performance. In this paper we analyze the effect of enhancing an existing teleoperation data collection system with real-time haptic feedback; we observe improvements in the collected data throughput and its quality for model training. Our experiment testbed was a mobile manipulator robot that opened doors with latch handles. Evaluation of teleoperated data collection on eight real world conference room doors found that adding the haptic feedback improved the data throughput by 6%. We additionally used the collected data to train six image-based deep imitation learning models, three with haptic feedback and three without it. These models were used to implement autonomous door-opening with the same type of robot used during data collection. Our results show that a policy from a behavior cloning model trained with haptic data performed on average 11% better than its counterpart with no haptic feedback data, indicating that haptic feedback resulted in collection of a higher quality dataset.
translated by 谷歌翻译
随着机器人越来越多地进入以人为本的环境，他们不仅必须能够在人类周围安全地浏览，还必须遵守复杂的社会规范。人类通常在围绕他人围绕他人（尤其是在密集占据的空间中）时，通常通过手势和面部表情依靠非语言交流。因此，机器人还需要能够将手势解释为解决社会导航任务的一部分。为此，我们提出了一种新型的社会导航方法，将基于图像的模仿学习与模型预测性控制结合在一起。手势是基于在图像流中运行的神经网络来解释的，而我们使用最先进的模型预测控制算法来求解点对点导航任务。我们将方法部署在真实的机器人上，并展示我们的方法对四个手势游动场景的有效性：左/右，跟随我，然后圈出一个圆圈。我们的实验表明，我们的方法能够成功地解释复杂的人类手势，并将其用作信号，以生成具有社会符合性的导航任务的轨迹。我们基于与机器人相互作用的参与者的原位等级验证了我们的方法。
translated by 谷歌翻译
随着自我监督学习的快速发展（例如，对比度学习），在医学图像分析中广泛认识到具有大规模图像（即使没有注释）来训练更具概括的AI模型的重要性。但是，大规模收集大规模任务的未注释数据对于单个实验室来说可能具有挑战性。现有的在线资源（例如数字书籍，出版物和搜索引擎）为获取大型图像提供了新的资源。然而，在医疗保健中发布的图像（例如放射学和病理学）由大量的带有子图的复合图组成。为了提取和分离化合物形象为下游学习的可用单个图像，我们提出了一个简单的复合图分离（SIMCFS）框架，而无需使用传统所需的检测边界框注释，并具有新的损失函数和硬案例模拟。我们的技术贡献是四倍：（1）我们引入了一个基于模拟的培训框架，该框架最小化了对资源广泛的边界框注释的需求； （2）我们提出了一种新的侧损失，可针对复合人物分离进行优化； （3）我们提出了一种阶层内图像增强方法来模拟硬病例； （4）据我们所知，这是第一项评估利用复合图像分离的自我监督学习功效的研究。从结果来看，提出的SIMCF在ImageClef 2016复合人物分离数据库上实现了最先进的性能。使用大规模开采数字的预审预革的学习模型通过对比度学习算法提高了下游图像分类任务的准确性。 SIMCF的源代码可在https://github.com/hrlblab/imageseperation上公开获得。
translated by 谷歌翻译